本文是一篇R语言爬虫实战练习篇，同样使用httr包来完成，结合cookies登录、表单提交、json数据包来完成整个数据爬取过程，无需书写复杂的xpath、css路径甚至繁琐的正则表达式（尽管这三个技能对于数据爬取而言意义非凡）。

之前已经演练过如何使用httr来完成网易云课堂的课程爬取，其中用到POST方法和表单提交。

今天爬取对象是知乎live课程信息，用到的GET方法，结合cookies登录和参数提交来完成，这一篇会给大家稍微涉猎一些细节技巧。

第一步：仍然是确定对象网页所用到的技术框架：

看到页面初始化的时候大概只有10条课程信息的展示量，然后继续往下滑动鼠标会自动刷新，妥了，这个典型的异步加载网页。

使用Chrome浏览器F12键打开后台，你可以在all菜单里面找到一个homefeed?limit=10&offset=10&includes=live的异步加载链接（XHR），通常情况下异步加载链接都是在XHR菜单里面的，但是也有例外，这时候你需要在all菜单里面寻找（可能有很多其他媒体类型请求，需要你耐心寻找，如果找不到就狂按F5刷新，看哪个请求是新蹦出来的）。

这个链接一看就很像课程链接的样子，limit是限制网页记录展示数量的参数（刚好10条），offset是偏移量参数（刚好默认也是10，就是说鼠标往下滑动之后会刷新出来10条新课程记录，也就是offset偏移量会以10的整数倍增加，每下拉一次，异步加载请求会增加10条记录信息），includes是模块性质，这里是live。

到底是不是这样呢， 让我们点进去这个xhr请求，到右下侧的网页预览里面详细一看便知，果不其然，刚好是我们要的信息，全部都是以json数据包的形式封存在网址为https://api.zhihu.com/lives/homefeed?limit=10&offset=10&includes=live的网页里面。

然后我们接下来需要做的工作就是详细分析其请求方式、报头参数设置、cookies设置、需要提交的参数等信息。

第二步：构造报头信息、参数表信息、cookies信息

开发者工具定位到右侧下的Headers菜单下：你会看到以下四个模块的信息：

备注：（请求参数里我匿了我的登录cookies哈哈，毕竟如今知乎有六七千关注量，虽然不算大号，但是对我挺重要的，不能随便登录信息泄露哒~）

OK，完美，那么确定本次使用到的浏览器请求方式是GET请求，网址对象是

注意体会其与你浏览器中的原始网址有何异同，在浏览器中直接打开live栏目，你的网址栏里面显示的是如下网址:https://www.zhihu.com/lives，想要不断展示所有的课程记录是需要你使用鼠标滚轮不断的向下滚动的。

但是他在后台所发起的异步加载请求调用的网址实际上是通过参数提交之后的如下网址，这个网址因为是get请求，在网页浏览器也是可以直接打开的，不过因为是json页面，打开之后是没有任何渲染的纯文本文件。网址如下